桂旺友

个人信息

参与实验室科研项目

人机智能协同关键技术及其在智能制造中的应用

非可信智能驱动的可靠智造

学术成果

共撰写/参与撰写专利 1 项，录用/发表论文 1 篇，投出待录用论文0篇。

patent

1. 用于PCB微小缺陷检测的单帧目标检测方法及存储介质 许镇义, 桂旺友, 曹洋, 康宇, and 赵云波 [Abs]

   本发明的一种用于PCB微小缺陷检测的单帧目标检测方法及存储介质,包括以下步骤：S1、获取PCB图像信息,并对图像进行数据预处理；S2、构建网络模型,将处理后的图像输入VGG-16特征提取网络,并对不同层次的特征进行融合,同时消除融合过程中所带来的负面影响；S3、对模型进行训练,并根据训练得到的结果评估性能。本发明利用注意机制来学习跨通道融合的特征之间的关系,并利用shuffle模块消除融合后的混叠效应。提出了非最大抑制方法,以减轻PCB图像的重叠效应。语义上升模块通过将不同层次的特征进行融合,不仅使低层次的特征具备丰富的语义信息,还能让高层次的特征具备更好的回归性,在目标分类与定位方面显著增强,能够更好地适应微小目标的检测。

Conference Articles

1. A Real-time Detection Method for SMT Chip Component Defects Based on Adaptive Collaborative Feature Yunbo Zhao, Wangyou Gui, Yu Kang, Kehao Shi, Lijun Zhao, and Zhenyi Xu In 2024 International Conference on Guidance, Navigation and Control (ICGNC 2024) 2024 [Abs] [pdf]

   Surface Mounted Technology (SMT) is an electronic assembly process that involves the placement of electronic components on a printed circuit board. In the SMT process, defect detection technology is the key to controlling the quality of electronic products. In the Industry, AOI technology based on image processing is widespread. However, it is plagued by several challenges including slow response time and a high defect mis-detection rate, warranting the need for further research and advancement. In recent years, researchers have turned to deep learning-based target detection algorithms for industrial defect detection. Nevertheless, in scenarios such as SMT, complexities arising from intricate object shapes and the challenge of balancing accuracy and speed present significant hurdles, rendering common target detection algorithms inadequate for meeting the demands of these scenarios. To solve these problems, this paper proposes a real-time detection method for SMT chip component defects based on adaptive collaborative feature (SMT-DETR), which employs an adaptive collaborative feature extraction module ACBlock to the deformate features of the object, and can pay attention to the defective changes of the chip components effectively. Secondly, a new IMIoU loss is proposed in this paper, which can capture the tiny object information more effectively and has faster convergence speed by combining the efficient IoU loss function. Finally, experiments show that the proposed method is better compared to classical object detection algorithms.

学位论文

Theses

1. SMT贴片元件自动光学检测关键技术研究 桂旺友 中国科学技术大学, 合肥 2024 [Abs] [pdf]

   近年来，表面贴装技术（Surface Mounted Technology, SMT）广泛地应用于 电子组装行业，高效的生产流程极大地促进了电子产品的智能化、精密化发展。 印刷电路板（Printed Circuit Board, PCB）上的布线和元件随之变得越来越密集， 这对其在生产过程中的质量检测问题也提出了更大的挑战。目前主流的方法是 采用自动光学检测（Automated Optical Inspection, AOI）技术对贴片元件经过回 流焊后的可能产生的缺陷情况进行检测。然而，当前的 AOI 技术大多还采用基 于模板匹配的传统视觉手段，在实际生产中仍然存在着较多的误检和漏检情况， 且整体工作效率不高，因此对其进一步地研究和改进有着重要的意义。 本文针对实际产线上的 AOI 系统的生产情况进行分析。研究发现，AOI 系 统的弊端主要在于使用的技术缺乏先进性，导致效率低下。一方面，由多张 PCB 局部图像拼接得到的整板图像质量不高，存在着明显的错位情况，这严重影响着 有缺陷区域的识别效果；另一方面，在缺陷检测时使用的模板匹配技术存在着较 大的弊端，该算法高度依赖于模板和拼接图像的质量，前者需要专业人员精心 设计建模，后者又取决于图像拼接的准确度。另外，匹配时的判定规则也比较单 一，难以应对复杂的缺陷特征，使得误检率达到了 80%，以至于需要大量人工复 检工作。针对以上问题，本文对这两个环节中所使用的关键技术进行研究，对图 像拼接算法进行了改进，并提出一种全新的缺陷检测算法，具体内容包括： 1. 针对 AOI 系统采集的若干张 PCB 局部图像拼接成 PCB 整板图像的问题， 将硬拼接和软拼接的方式相结合，提出一种基于 SURF 主要距离的主板图像拼 接算法，实现了 PCB 图像的实时高质量拼接。针对传统的 SURF 拼接算法进行 改进，提出基于划分区域的特征点提取方法和基于主要范围的匹配对细筛选方 法，在算法速度和准确度上都得到了较好的提升。以硬拼接流程为基础，为应 对由于震动导致的不同组相邻图像间偏移量一直在变化的情况，利用改进后的 SURF 算法提取出待拼接图像的特征点并匹配，将所有匹配对之间主要距离作为 偏移量，在每次拼接不同对象时都能做到实时调整。为了弥补光照不均造成的拼 接缝两边色差明显，采用基于加权像素的空域融合法处理该区域。以最先完成拼 接的第一列图像为准，通过偏移补偿方法保证所有其他列拼接图像尺寸与之一 致。在 PCB 整板图像拼接实验中，本文方法只需要 16s 左右的时间就可以在保 留图像高清晰度的前提下稳定地实现图像拼接过程，并且最终结果图的错位情 况得到明显改善。 2. 针对 SMT 产线中贴片元件经过回流焊后的缺陷检测问题，结合深度学习 技术，将目标检测应用于贴片元件的缺陷检测任务，提出一种基于自适应协同特征的 DETR 缺陷检测算法，实现了多种复杂缺陷元件的有效检测。为应对相关 数据稀少的情况，构建了 SMT 贴片元件缺陷数据集，包含多种存在不同缺陷情 况下的 PCB 图像。考虑到工业场景中对检测速度和精度的高要求，采用轻量化 的 RT-DETR 作为基准模型，在借助 transformer 强大的建模能力的同时，还具有 较好的实时性。针对贴片元件特殊的缺陷形态，设计出自适应协同模块替代部 分传统的卷积模块，能够更好地关注到元件缺陷的形变特征。提出一种全新的 损失函数，对 PCB 图像中的微小贴片元件更加友好，并且具备较快的收敛速度。 在自行收集贴片元件缺陷数据集的实验表明，本文方法在 mAP50 指标上达到了 88.3%，相对于基准方法提升了 8.4%，在 FPS 指标上达到了 90，在速度和精度 上达到了较好的平衡，优于目前所有的实时目标检测模型。 基于上述研究，本文实现了 SMT 贴片元件自动光学检测关键技术上的改进， 这些算法均将部署在课题组搭建的 AOI 设备上，预计建成后将有效提升制造商 的整体生产效率，并产生巨大经济效益。

毕业去向

深蓝汽车南京研究院， 算法工程师